home *** CD-ROM | disk | FTP | other *** search
/ PC World 2006 February / PCWorld_2006-02_cd.bin / software / vyzkuste / triky / triky.exe / httrack-3.33.exe / {app} / src / htstools.c < prev    next >
C/C++ Source or Header  |  2004-11-12  |  27KB  |  996 lines
  1. /* ------------------------------------------------------------ */
  2. /*
  3. HTTrack Website Copier, Offline Browser for Windows and Unix
  4. Copyright (C) Xavier Roche and other contributors
  5.  
  6. This program is free software; you can redistribute it and/or
  7. modify it under the terms of the GNU General Public License
  8. as published by the Free Software Foundation; either version 2
  9. of the License, or any later version.
  10.  
  11. This program is distributed in the hope that it will be useful,
  12. but WITHOUT ANY WARRANTY; without even the implied warranty of
  13. MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  14. GNU General Public License for more details.
  15.  
  16. You should have received a copy of the GNU General Public License
  17. along with this program; if not, write to the Free Software
  18. Foundation, Inc., 59 Temple Place - Suite 330, Boston, MA  02111-1307, USA.
  19.  
  20.  
  21. Important notes:
  22.  
  23. - We hereby ask people using this source NOT to use it in purpose of grabbing
  24. emails addresses, or collecting any other private information on persons.
  25. This would disgrace our work, and spoil the many hours we spent on it.
  26.  
  27.  
  28. Please visit our Website: http://www.httrack.com
  29. */
  30.  
  31.  
  32. /* ------------------------------------------------------------ */
  33. /* File: httrack.c subroutines:                                 */
  34. /*       various tools (filename analyzing ..)                  */
  35. /* Author: Xavier Roche                                         */
  36. /* ------------------------------------------------------------ */
  37.  
  38. /* Internal engine bytecode */
  39. #define HTS_INTERNAL_BYTECODE
  40.  
  41. #include "htstools.h"
  42.  
  43. /* specific definitions */
  44. #include "htsbase.h"
  45. #include <ctype.h>
  46. /* String */
  47. #include "htsstrings.h"
  48. /* END specific definitions */
  49.  
  50.  
  51. // forme α partir d'un lien et du contexte (origin_fil et origin_adr d'o∙ il est tirΘ) adr et fil
  52. // [adr et fil sont des buffers de 1ko]
  53. // 0 : ok
  54. // -1 : erreur
  55. // -2 : protocole non supportΘ (ftp)
  56. int ident_url_relatif(char *lien,char* origin_adr,char* origin_fil,char* adr,char* fil) {
  57.   int ok=0;
  58.   int scheme=0;
  59.  
  60.   adr[0]='\0'; fil[0]='\0';    //effacer buffers
  61.  
  62.   // lien non vide!
  63.   if (strnotempty(lien)==0) return -1;    // erreur!
  64.  
  65.   // Scheme?
  66.   {
  67.     char* a=lien;
  68.     while (isalpha((unsigned char)*a))
  69.       a++;
  70.     if (*a == ':')
  71.       scheme=1;
  72.   }
  73.  
  74.   // filtrer les parazites (mailto & cie)
  75.   // scheme+authority (//)
  76.   if (
  77.                (strfield(lien,"http://"))        // scheme+//
  78.             || (strfield(lien,"file://"))   // scheme+//
  79.             || (strncmp(lien,"//",2)==0)    // // sans scheme (-> default)
  80.        ) {
  81.     if (ident_url_absolute(lien,adr,fil)==-1) {        
  82.       ok=-1;    // erreur URL
  83.     }
  84.   }
  85.   else if (strfield(lien,"ftp://")) {
  86.     // Note: ftp:foobar.gif is not valid
  87.     if (ftp_available()) {     // ftp supportΘ
  88.       if (ident_url_absolute(lien,adr,fil)==-1) {        
  89.         ok=-1;    // erreur URL
  90.       }
  91.     } else {
  92.       ok=-2;  // non supportΘ
  93.     }
  94. #if HTS_USEOPENSSL
  95.   } else if (strfield(lien,"https://")) {
  96.     if (SSL_is_available) {
  97.       // Note: ftp:foobar.gif is not valid
  98.       if (ident_url_absolute(lien,adr,fil)==-1) {        
  99.         ok=-1;    // erreur URL
  100.       }
  101.     } else {
  102.       ok=-1;
  103.     }
  104. #endif
  105.   } else if ((scheme) && (
  106.     (!strfield(lien,"http:"))
  107.     && (!strfield(lien,"https:"))
  108.     && (!strfield(lien,"ftp:"))
  109.     )) {
  110.     ok=-1;      // unknown scheme
  111.   } else {    // c'est un lien relatif
  112.     char* a;
  113.     
  114.     // On forme l'URL complΦte α partie de l'url actuelle
  115.     // et du chemin actuel si besoin est.
  116.     
  117.     // copier adresse
  118.     if (((int) strlen(origin_adr)<HTS_URLMAXSIZE) && ((int) strlen(origin_fil)<HTS_URLMAXSIZE) && ((int) strlen(lien)<HTS_URLMAXSIZE)) {
  119.  
  120.       /* patch scheme if necessary */
  121.       if (strfield(lien,"http:")) {
  122.         lien+=5;
  123.         strcpybuff(adr, jump_protocol(origin_adr));    // mΩme adresse ; protocole vide (http)
  124.       } else if (strfield(lien,"https:")) {
  125.         lien+=6;
  126.         strcpybuff(adr, "https://");   // mΩme adresse forcΘe en https
  127.         strcatbuff(adr, jump_protocol(origin_adr));
  128.       } else if (strfield(lien,"ftp:")) {
  129.         lien+=4;
  130.         strcpybuff(adr, "ftp://");   // mΩme adresse forcΘe en ftp
  131.         strcatbuff(adr, jump_protocol(origin_adr));
  132.       } else {
  133.         strcpybuff(adr,origin_adr);    // mΩme adresse ; et mΩme Θventuel protocole
  134.       }
  135.       
  136.       if (*lien!='/') {  // sinon c'est un lien absolu
  137.         if (*lien == '\0') {
  138.           strcpybuff(fil,origin_fil);
  139.         } else if (*lien == '?') {     // example: a href="?page=2"
  140.           char* a;
  141.           strcpybuff(fil,origin_fil);
  142.           a=strchr(fil,'?');
  143.           if (a) *a='\0';
  144.           strcatbuff(fil,lien);
  145.         } else {
  146.           a=strchr(origin_fil,'?');
  147.           if (a == NULL) a=origin_fil+strlen(origin_fil);
  148.           while((*a!='/') && ( a > origin_fil) ) a--;
  149.           if (*a=='/') {    // ok on a un '/'
  150.             if ( (((int) (a - origin_fil))+1+strlen(lien)) < HTS_URLMAXSIZE) {
  151.               // copier chemin
  152.               strncpy(fil,origin_fil,((int) (a - origin_fil))+1);
  153.               *(fil + ((int) (a - origin_fil))+1)='\0';
  154.               
  155.               // copier chemin relatif
  156.               if (((int) strlen(fil)+(int) strlen(lien)) < HTS_URLMAXSIZE) {
  157.                 strcatbuff(fil,lien + ((*lien=='/')?1:0) );      
  158.                 // simplifier url pour les ../
  159.                 fil_simplifie(fil);
  160.               } else
  161.                 ok=-1;    // erreur
  162.             } else {    // erreur
  163.               ok=-1;    // erreur URL
  164.             }
  165.           } else {    // erreur
  166.             ok=-1;    // erreur URL
  167.           }
  168.         }
  169.       } else { // chemin absolu
  170.         // copier chemin directement
  171.         strcatbuff(fil,lien);      
  172.         fil_simplifie(fil);
  173.       }  // *lien!='/'
  174.     } else
  175.       ok=-1;
  176.     
  177.   }  // test news: etc.
  178.  
  179.   // case insensitive pour adresse
  180.   {
  181.     char *a=jump_identification(adr);
  182.     while(*a) {
  183.       if ((*a>='A') && (*a<='Z'))
  184.         *a+='a'-'A';       
  185.       a++;
  186.     }
  187.   }
  188.   
  189.   return ok;
  190. }
  191.  
  192.  
  193.  
  194.  
  195.  
  196. // crΘer dans s, α partir du chemin courant curr_fil, le lien vers link (absolu)
  197. // un ident_url_relatif a dΘja ΘtΘ fait avant, pour que link ne soit pas un chemin relatif
  198. int lienrelatif(char* s,char* link,char* curr_fil) {
  199.   char BIGSTK _curr[HTS_URLMAXSIZE*2];
  200.   char BIGSTK newcurr_fil[HTS_URLMAXSIZE*2],newlink[HTS_URLMAXSIZE*2];
  201.   char* curr;
  202.   //int n=0;
  203.   char* a;
  204.   int slash=0;
  205.   //
  206.   newcurr_fil[0]='\0'; newlink[0]='\0';
  207.   //
  208.  
  209.   // patch: Θliminer les ? (paramΦtres) sinon bug
  210.   if ( (a=strchr(curr_fil,'?')) ) {
  211.     strncatbuff(newcurr_fil,curr_fil,(int) (a - curr_fil));
  212.     curr_fil = newcurr_fil;
  213.   }
  214.   if ( (a=strchr(link,'?')) ) {
  215.     strncatbuff(newlink,link,(int) (a - link));
  216.     link = newlink;
  217.   }
  218.  
  219.   // recopier uniquement le chemin courant
  220.   curr=_curr;
  221.   strcpybuff(curr,curr_fil);
  222.   if ((a=strchr(curr,'?'))==NULL)  // couper au ? (params)
  223.     a=curr+strlen(curr)-1;         // pas de params: aller α la fin
  224.   while((*a!='/') && ( a> curr)) a--;       // chercher dernier / du chemin courant
  225.   if (*a=='/') *(a+1)='\0';                           // couper dernier /
  226.   
  227.   // "effacer" s
  228.   s[0]='\0';
  229.   
  230.   // sauter ce qui est commun aux 2 chemins
  231.   {
  232.     char *l,*c;
  233.     if (*link=='/') link++;  // sauter slash
  234.     if (*curr=='/') curr++;
  235.     l=link;
  236.     c=curr;
  237.     // couper ce qui est commun
  238. #if HTS_CASSE
  239.     while ((*link==*curr) && (*link!=0)) {link++; curr++; }
  240. #else
  241.     while ((streql(*link,*curr)) && (*link!=0)) {link++; curr++; }
  242. #endif
  243.     // mais on veut un rΘpertoirer entier!
  244.     // si on a /toto/.. et /toto2/.. on ne veut pas sauter /toto !
  245.     while(((*link!='/') || (*curr!='/')) && ( link > l)) { link--; curr--; }
  246.     //if (*link=='/') link++;
  247.     //if (*curr=='/') curr++;
  248.   }
  249.   
  250.   // calculer la profondeur du rΘpertoire courant et remonter
  251.   // LES ../ ONT ETE SIMPLIFIES
  252.   a=curr;
  253.   if (*a=='/') a++;
  254.   while(*a) if (*(a++)=='/') strcatbuff(s,"../");
  255.   //if (strlen(s)==0) strcatbuff(s,"/");
  256.  
  257.   if (slash) strcatbuff(s,"/");    // garder absolu!!
  258.   
  259.   // on est dans le rΘpertoire de dΘpart, copier
  260.   strcatbuff(s,link + ((*link=='/')?1:0) );
  261.  
  262.   /* Security check */
  263.   if (strlen(s) >= HTS_URLMAXSIZE)
  264.     return -1;
  265.  
  266.   // on a maintenant une chaine de la forme ../../test/truc.html  
  267.   return 0;
  268. }
  269.  
  270. /* Is the link absolute (http://www..) or relative (/bar/foo.html) ? */
  271. int link_has_authority(char* lien) {
  272.   char* a=lien;
  273.   if (isalpha((unsigned char)*a)) {
  274.     // Skip scheme?
  275.     while (isalpha((unsigned char)*a))
  276.       a++;
  277.     if (*a == ':')
  278.       a++;
  279.     else
  280.       return 0;
  281.   }
  282.   if (strncmp(a,"//",2) == 0)
  283.     return 1;
  284.   return 0;
  285. }
  286.  
  287. int link_has_authorization(char* lien) {
  288.   char* adr = jump_protocol(lien);
  289.   char* firstslash = strchr(adr, '/');
  290.   char* detect = strchr(adr, '@');
  291.   if (firstslash) {
  292.     if (detect) {
  293.       return (detect < firstslash);
  294.     }
  295.   } else {
  296.     return (detect != NULL);
  297.   }
  298.   return 0;
  299. }
  300.  
  301.  
  302. // conversion chemin de fichier/dossier vers 8-3 ou ISO9660
  303. void long_to_83(int mode,char* n83,char* save) {
  304.   n83[0]='\0';
  305.  
  306.   while(*save) {
  307.     char fn83[256],fnl[256];
  308.     int i=0;
  309.     fn83[0]=fnl[0]='\0';
  310.     while((save[i]) && (save[i]!='/')) { fnl[i]=save[i]; i++; }
  311.     fnl[i]='\0';
  312.     // conversion
  313.     longfile_to_83(mode,fn83,fnl);
  314.     strcatbuff(n83,fn83);
  315.  
  316.     save+=i;
  317.     if (*save=='/') { strcatbuff(n83,"/"); save++; }
  318.   }
  319. }
  320.  
  321.  
  322. // conversion nom de fichier/dossier isolΘ vers 8-3 ou ISO9660
  323. void longfile_to_83(int mode,char* n83,char* save) {
  324.   int i=0,j=0,max=0;
  325.   char nom[256];
  326.   char ext[256];
  327.   nom[0]=ext[0]='\0';
  328.   
  329.   switch(mode) {
  330.   case 1:
  331.     max=8;
  332.     break;
  333.   case 2:
  334.     max=31;
  335.     break;
  336.   default:
  337.     max=8;
  338.     break;
  339.   }
  340.  
  341.   /* No starting . */
  342.   if (save[0] == '.') {
  343.     save[0]='_';
  344.   }
  345.   /* No multiple dots */
  346.   {
  347.     char* last_dot=strrchr(save, '.');
  348.     char* dot;
  349.     while((dot=strchr(save, '.'))) {
  350.       *dot = '_';
  351.     }
  352.     if (last_dot) {
  353.       *last_dot='.';
  354.     }
  355.   }
  356.   /* 
  357.   Avoid: (ISO9660, but also suitable for 8-3)
  358.   (Thanks to jonat@cellcast.com for te hint)
  359.   /:;?\#*~
  360.   0x00-0x1f and 0x80-0xff
  361.   */
  362.   for(i = 0 ; save[i] != 0 ; i++) {
  363.     char a = save[i];
  364.     if (a >= 'a' && a <= 'z') {
  365.       a -= 'a' - 'A';
  366.     }
  367.     else if ( ! ( (a >= 'A' && a <= 'Z') || (a >= '0' && a <= '9') || a == '_' || a == '.') ) {
  368.       a = '_';
  369.     }
  370.     save[i] = a;
  371.   }
  372.  
  373.   i=j=0;
  374.   while((i<max) && (save[j]) && (save[j]!='.')) {
  375.     if (save[j]!=' ') {
  376.       nom[i]=save[j]; 
  377.       i++; 
  378.     } 
  379.     j++; 
  380.   }  // recopier nom
  381.   nom[i]='\0';
  382.   if (save[j]) {  // il reste au moins un point
  383.     i=strlen(save)-1;
  384.     while((i>0) && (save[i]!='.') && (save[i]!='/')) i--;    // rechercher dernier .
  385.     if (save[i]=='.') {  // point!
  386.       int j=0;
  387.       i++;
  388.       while((j<3) && (save[i]) ) { if (save[i]!=' ') { ext[j]=save[i]; j++; } i++; }
  389.       ext[j]='\0';
  390.     }
  391.   }
  392.   // corriger vers 8-3
  393.   n83[0]='\0';
  394.   strncatbuff(n83,nom,8);
  395.   if (strnotempty(ext)) {
  396.     strcatbuff(n83,".");
  397.     strncatbuff(n83,ext,3);    
  398.   }
  399. }
  400.  
  401. // Θcrire backblue.gif
  402. int verif_backblue(httrackp* opt,char* base) {
  403.   int* done;
  404.   int ret=0;
  405.   NOSTATIC_RESERVE(done, int, 1);
  406.   //
  407.   if (!base) {   // init
  408.     *done=0;
  409.     return 0;
  410.   }
  411.   if ( (!*done)
  412.     || (fsize(fconcat(base,"backblue.gif")) != HTS_DATA_BACK_GIF_LEN)) {
  413.     FILE* fp = filecreate(fconcat(base,"backblue.gif"));
  414.     *done=1;
  415.     if (fp) {
  416.       if (fwrite(HTS_DATA_BACK_GIF,HTS_DATA_BACK_GIF_LEN,1,fp) != HTS_DATA_BACK_GIF_LEN)
  417.         ret=1;
  418.       fclose(fp);
  419.       usercommand(opt,0,NULL,fconcat(base,"backblue.gif"),"","");
  420.     } else
  421.       ret=1;
  422.     //
  423.     fp = filecreate(fconcat(base,"fade.gif"));
  424.     if (fp) {
  425.       if (fwrite(HTS_DATA_FADE_GIF,HTS_DATA_FADE_GIF_LEN,1,fp) != HTS_DATA_FADE_GIF_LEN)
  426.         ret=1;
  427.       fclose(fp);
  428.       usercommand(opt,0,NULL,fconcat(base,"fade.gif"),"","");
  429.     } else
  430.       ret=1;
  431.   } 
  432.   return ret;
  433. }
  434.  
  435. // flag
  436. int verif_external(int nb,int test) {
  437.   int* status;
  438.   NOSTATIC_RESERVE(status, int, 2);
  439.   if (!test)
  440.     status[nb]=0;   // reset
  441.   else if (!status[nb]) {
  442.     status[nb]=1;
  443.     return 1;
  444.   }
  445.   return 0;
  446. }
  447.  
  448.  
  449. // recherche chaεne de type truc<espaces>=
  450. // renvoi dΘcalage α effectuer ou 0 si non trouvΘ
  451. /* SECTION OPTIMISEE:
  452. #define rech_tageq(adr,s) ( \
  453.   ( (*(adr-1)=='<') || (is_space(*(adr-1))) ) ? \
  454.     ( (streql(*adr,*s)) ? \
  455.       (__rech_tageq(adr,s)) \
  456.       : 0 \
  457.     ) \
  458.     : 0\
  459.   )
  460. */
  461. /*
  462. HTS_INLINE int rech_tageq(const char* adr,const char* s) { 
  463.   if ( (*(adr-1)=='<') || (is_space(*(adr-1))) ) {   // <tag < tag etc
  464.     if (streql(*adr,*s)) {                           // tester premier octet (optimisation)
  465.       return __rech_tageq(adr,s);
  466.     }
  467.   }
  468.   return 0;
  469. }
  470. */
  471. // DeuxiΦme partie
  472. HTS_INLINE int __rech_tageq(const char* adr,const char* s) { 
  473.   int p;
  474.   p=strfield(adr,s);
  475.   if (p) {
  476.     while(is_space(adr[p])) p++;
  477.     if (adr[p]=='=') {
  478.       return p+1;
  479.     }
  480.   }
  481.   return 0;
  482. }
  483.  
  484. HTS_INLINE int rech_endtoken(const char* adr, const char** start) {
  485.   char quote = '\0';
  486.   int length = 0;
  487.   while(is_space(*adr)) adr++;
  488.   if (*adr == '"' || *adr == '\'') 
  489.     quote = *adr++;
  490.   *start = adr;
  491.   while(*adr != 0 && *adr != quote && (quote != '\0' || !is_space(*adr)) ) {
  492.     length++;
  493.     adr++;
  494.   }
  495.   return length;
  496. }
  497. // same, but check begining of adr wirh s (for <object src="bar.mov" .. hotspot123="foo.html">)
  498. HTS_INLINE int __rech_tageqbegdigits(const char* adr,const char* s) { 
  499.   int p;
  500.   p=strfield(adr,s);
  501.   if (p) {
  502.     while(isdigit((unsigned char)adr[p]))  p++;      // jump digits
  503.     while(is_space(adr[p])) p++;
  504.     if (adr[p]=='=') {
  505.       return p+1;
  506.     }
  507.   }
  508.   return 0;
  509. }
  510.  
  511. // tag sans =
  512. HTS_INLINE int rech_sampletag(const char* adr,const char* s) { 
  513.   int p;
  514.   if ( (*(adr-1)=='<') || (is_space(*(adr-1))) ) {   // <tag < tag etc
  515.     p=strfield(adr,s);
  516.     if (p) {
  517.       if (!isalnum((unsigned char)adr[p])) {  // <srcbis n'est pas <src
  518.         return 1;
  519.       }
  520.       return 0;
  521.     }
  522.   }
  523.   return 0;
  524. }
  525.  
  526. // teste si le tag contenu dans from est Θgal α "tag"
  527. HTS_INLINE int check_tag(char* from,const char* tag) {
  528.   char* a=from+1;
  529.   int i=0;
  530.   char s[256];
  531.   while(is_space(*a)) a++;
  532.   while((isalnum((unsigned char)*a) || (*a=='/')) && (i<250)) { s[i++]=*a; a++; }
  533.   s[i++]='\0';
  534.   return (strfield2(s,tag));  // comparer
  535. }
  536.  
  537. // teste si un fichier dΘpasse le quota
  538. int istoobig(LLint size,LLint maxhtml,LLint maxnhtml,char* type) {
  539.   int ok=1;
  540.   if (size>0) {
  541.     if (is_hypertext_mime(type, "")) {
  542.       if (maxhtml>0) {
  543.         if (size>maxhtml)
  544.           ok=0;
  545.       }
  546.     } else {
  547.       if (maxnhtml>0) {
  548.         if (size>maxnhtml)
  549.           ok=0;
  550.       }
  551.     }
  552.   }
  553.   return (!ok);
  554. }
  555.  
  556.  
  557. static int sortTopIndexFnc(const void * a_, const void * b_) {
  558.   int cmp;
  559.   topindex_chain** a = (topindex_chain**) a_;
  560.   topindex_chain** b = (topindex_chain**) b_;
  561.   /* Category first, then name */
  562.   if ((cmp = (*a)->level - (*b)->level) == 0) {
  563.     if ((cmp = strcmpnocase((*a)->category, (*b)->category)) == 0) {
  564.       cmp = strcmpnocase((*a)->name, (*b)->name);
  565.     }
  566.   }
  567.   return cmp;
  568. }
  569.  
  570. HTSEXT_API char* hts_getcategory(char* filename);
  571.  
  572. HTSEXT_API int hts_buildtopindex(httrackp* opt,char* path,char* binpath) {
  573.   FILE* fpo;
  574.   int retval=0;
  575.   char BIGSTK rpath[1024*2];
  576.   char *toptemplate_header=NULL,*toptemplate_body=NULL,*toptemplate_footer=NULL,*toptemplate_bodycat=NULL;
  577.   
  578.   // et templates html
  579.   toptemplate_header=readfile_or(fconcat(binpath,"templates/topindex-header.html"),HTS_INDEX_HEADER);
  580.   toptemplate_body=readfile_or(fconcat(binpath,"templates/topindex-body.html"),HTS_INDEX_BODY);
  581.   toptemplate_bodycat=readfile_or(fconcat(binpath,"templates/topindex-bodycat.html"),HTS_INDEX_BODYCAT);
  582.   toptemplate_footer=readfile_or(fconcat(binpath,"templates/topindex-footer.html"),HTS_INDEX_FOOTER);
  583.   
  584.   if (toptemplate_header && toptemplate_body && toptemplate_footer && toptemplate_bodycat) {
  585.     
  586.     strcpybuff(rpath,path);
  587.     if (rpath[0]) {
  588.       if (rpath[strlen(rpath)-1]=='/')
  589.         rpath[strlen(rpath)-1]='\0';
  590.     }
  591.     
  592.     fpo=fopen(fconcat(rpath,"/index.html"),"wb");
  593.     if (fpo) {
  594.       String iname = STRING_EMPTY;
  595.       find_handle h;
  596.       verif_backblue(opt,concat(rpath,"/"));    // gΘnΘrer gif
  597.       // Header
  598.       fprintf(fpo,toptemplate_header,
  599.         "<!-- Mirror and index made by HTTrack Website Copier/"HTTRACK_VERSION" "HTTRACK_AFF_AUTHORS" -->"
  600.         );
  601.       
  602.       /* Find valid project names */
  603.       h = hts_findfirst(rpath);
  604.       if (h) {
  605.         struct topindex_chain * chain=NULL;
  606.         struct topindex_chain * startchain=NULL;
  607.         String iname = STRING_EMPTY;
  608.         int chainSize = 0;
  609.         do {
  610.           if (hts_findisdir(h)) {
  611.             StringStrcpy(iname,rpath);
  612.             StringStrcat(iname,"/");
  613.             StringStrcat(iname,hts_findgetname(h));
  614.             StringStrcat(iname,"/index.html");
  615.             if (fexist(StringBuff(iname))) {
  616.               int level = 0;
  617.               char* category = NULL;
  618.               struct topindex_chain * oldchain=chain;
  619.               
  620.               /* Check for an existing category */
  621.               StringStrcpy(iname,rpath);
  622.               StringStrcat(iname,"/");
  623.               StringStrcat(iname,hts_findgetname(h));
  624.               StringStrcat(iname,"/hts-cache/winprofile.ini");
  625.               if (fexist(StringBuff(iname))) {
  626.                 category = hts_getcategory(StringBuff(iname));
  627.                 if (category != NULL) {
  628.                   if (*category == '\0') {
  629.                     freet(category);
  630.                     category = NULL;
  631.                   }
  632.                 }
  633.               }
  634.               if (category == NULL) {
  635.                 category = strdupt("No categories");
  636.                 level = 1;
  637.               }
  638.  
  639.               chain=calloc(sizeof(struct topindex_chain), 1);
  640.               chainSize++;
  641.               if (!startchain) {
  642.                 startchain=chain;
  643.               }
  644.               if (chain) {
  645.                 if (oldchain) {
  646.                   oldchain->next=chain;
  647.                 }
  648.                 chain->next=NULL;
  649.                 strcpybuff(chain->name, hts_findgetname(h));
  650.                 chain->category = category;
  651.                 chain->level = level;
  652.               }
  653.             }
  654.             
  655.           }
  656.         } while(hts_findnext(h));
  657.         hts_findclose(h);
  658.         StringFree(iname);
  659.         
  660.         /* Sort chain */
  661.         {
  662.           struct topindex_chain** sortedElts = (struct topindex_chain**) calloct(sizeof(topindex_chain*), chainSize);
  663.           assertf(sortedElts != NULL);
  664.           if (sortedElts != NULL) {
  665.             int i;
  666.             char* category = "";
  667.             
  668.             /* Build array */
  669.             struct topindex_chain * chain = startchain;
  670.             for(i = 0 ; i < chainSize ; i++) {
  671.               assertf(chain != NULL);
  672.               sortedElts[i] = chain;
  673.               chain = chain->next;
  674.             }
  675.             qsort(sortedElts, chainSize, sizeof(topindex_chain*), sortTopIndexFnc);
  676.             
  677.             /* Build sorted index */
  678.             for(i = 0 ; i < chainSize ; i++) {
  679.               char BIGSTK hname[HTS_URLMAXSIZE*2];
  680.               strcpybuff(hname,sortedElts[i]->name);
  681.               escape_check_url(hname);
  682.  
  683.               /* Changed category */
  684.               if (strcmp(category, sortedElts[i]->category) != 0) {
  685.                 category = sortedElts[i]->category;
  686.                 fprintf(fpo,toptemplate_bodycat, category);
  687.               }
  688.               fprintf(fpo,toptemplate_body,
  689.                 hname,
  690.                 sortedElts[i]->name
  691.                 );
  692.             }
  693.             
  694.             /* Wipe elements */
  695.             for(i = 0 ; i < chainSize ; i++) {
  696.               freet(sortedElts[i]->category);
  697.               freet(sortedElts[i]);
  698.               sortedElts[i] = NULL;
  699.             }
  700.             freet(sortedElts);
  701.             
  702.             /* Return value */
  703.             retval=1;
  704.           }
  705.         }
  706.         
  707.       }
  708.       
  709.       // Footer
  710.       fprintf(fpo,toptemplate_footer,
  711.         "<!-- Mirror and index made by HTTrack Website Copier/"HTTRACK_VERSION" "HTTRACK_AFF_AUTHORS" -->"
  712.         );
  713.       
  714.       fclose(fpo);
  715.       
  716.     }
  717.     
  718.   }
  719.  
  720.   if (toptemplate_header)
  721.     freet(toptemplate_header);
  722.   if (toptemplate_body)
  723.     freet(toptemplate_body);
  724.   if (toptemplate_footer)
  725.     freet(toptemplate_footer);
  726.   if (toptemplate_body)
  727.     freet(toptemplate_body);
  728.   
  729.   return retval;
  730. }
  731.  
  732. HTSEXT_API char* hts_getcategory(char* filename) {
  733.   String categ = STRING_EMPTY;
  734.   if (fexist(filename)) {
  735.     FILE* fp = fopen(filename, "rb");
  736.     if (fp != NULL) {
  737.       int done=0;
  738.       while(!feof(fp) && !done) {
  739.         char BIGSTK line[1024];
  740.         int n = linput(fp, line, sizeof(line) - 2);
  741.         if (n > 0) {
  742.           if (strfield(line, "category=")) {
  743.             unescapehttp(line+9, &categ);
  744.             done=1;
  745.           }
  746.         }
  747.       }
  748.       fclose(fp);
  749.     }
  750.   }
  751.   return StringBuff(categ);
  752. }
  753.  
  754. HTSEXT_API char* hts_getcategories(char* path, int type) {
  755.   String categ = STRING_EMPTY;
  756.   String profiles = STRING_EMPTY;
  757.   char* rpath = path;
  758.   find_handle h;
  759.   inthash hashCateg = NULL;
  760.   if (rpath[0]) {
  761.     if (rpath[strlen(rpath)-1]=='/') {
  762.       rpath[strlen(rpath)-1]='\0';      /* note: patching stored (inhash) value */
  763.     }
  764.   }
  765.   h = hts_findfirst(rpath);
  766.   if (h) {
  767.     struct topindex_chain * chain=NULL;
  768.     struct topindex_chain * startchain=NULL;
  769.     String iname = STRING_EMPTY;
  770.     if (type == 1) {
  771.       hashCateg = inthash_new(127);
  772.       StringStrcat(categ, "Test category 1");
  773.       StringStrcat(categ, "\r\nTest category 2");
  774.     }
  775.     do {
  776.       if (hts_findisdir(h)) {
  777.         char BIGSTK line2[1024];
  778.         StringStrcpy(iname,rpath);
  779.         StringStrcat(iname,"/");
  780.         StringStrcat(iname,hts_findgetname(h));
  781.         StringStrcat(iname,"/hts-cache/winprofile.ini");
  782.         if (fexist(StringBuff(iname))) {
  783.           if (type == 1) {
  784.             FILE* fp = fopen(StringBuff(iname), "rb");
  785.             if (fp != NULL) {
  786.               int done=0;
  787.               while(!feof(fp) && !done) {
  788.                 int n = linput(fp, line2, sizeof(line2) - 2);
  789.                 if (n > 0) {
  790.                   if (strfield(line2, "category=")) {
  791.                     if (*(line2+9)) {
  792.                       if (!inthash_read(hashCateg, line2+9, NULL)) {
  793.                         inthash_write(hashCateg, line2+9, 0);
  794.                         if (StringLength(categ) > 0) {
  795.                           StringStrcat(categ, "\r\n");
  796.                         }
  797.                         unescapehttp(line2+9, &categ);
  798.                       }
  799.                     }
  800.                     done=1;
  801.                   }
  802.                 }
  803.               }
  804.               line2[0] = '\0';
  805.               fclose(fp);
  806.             }
  807.           } else {
  808.             if (StringLength(profiles) > 0) {
  809.               StringStrcat(profiles, "\r\n");
  810.             }
  811.             StringStrcat(profiles, hts_findgetname(h));
  812.           }
  813.         }
  814.         
  815.       }
  816.     } while(hts_findnext(h));
  817.     hts_findclose(h);
  818.     StringFree(iname);
  819.   }
  820.   if (hashCateg) {
  821.     inthash_delete(&hashCateg);
  822.     hashCateg = NULL;
  823.   }
  824.   if (type == 1)
  825.     return StringBuff(categ);
  826.   else
  827.     return StringBuff(profiles);
  828. }
  829.  
  830.  
  831.  
  832.  
  833. // Portable directory find functions
  834. /*
  835. // Example:
  836. find_handle h = hts_findfirst("/tmp");
  837. if (h) {
  838.   do {
  839.     if (hts_findisfile(h))
  840.       printf("File: %s (%d octets)\n",hts_findgetname(h),hts_findgetsize(h));
  841.     else if (hts_findisdir(h))
  842.       printf("Dir: %s\n",hts_findgetname(h));
  843.   } while(hts_findnext(h));
  844.   hts_findclose(h);
  845. }
  846. */
  847. HTSEXT_API find_handle hts_findfirst(char* path) {
  848.   if (path) {
  849.     if (strnotempty(path)) {
  850.       find_handle_struct* find = (find_handle_struct*) calloc(1,sizeof(find_handle_struct));
  851.       if (find) {
  852.         memset(find, 0, sizeof(find_handle_struct));
  853. #if HTS_WIN
  854.         {
  855.           char BIGSTK rpath[1024*2];
  856.           strcpybuff(rpath,path);
  857.           if (rpath[0]) {
  858.             if (rpath[strlen(rpath)-1]!='\\')
  859.               strcatbuff(rpath,"\\");
  860.           }
  861.           strcatbuff(rpath,"*.*");
  862.           find->handle = FindFirstFileA(rpath,&find->hdata);
  863.           if (find->handle != INVALID_HANDLE_VALUE)
  864.             return find;
  865.         }
  866. #else
  867.         strcpybuff(find->path,path);
  868.         {
  869.           if (find->path[0]) {
  870.             if (find->path[strlen(find->path)-1]!='/')
  871.               strcatbuff(find->path,"/");
  872.           }
  873.         }
  874.         find->hdir=opendir(path);
  875.         if (find->hdir != NULL) {
  876.           if (hts_findnext(find) == 1)
  877.             return find;
  878.         }
  879. #endif
  880.         free((void*)find);
  881.       }
  882.     }
  883.   }
  884.   return NULL;   
  885. }
  886.  
  887. HTSEXT_API int hts_findnext(find_handle find) {
  888.   if (find) {
  889. #if HTS_WIN
  890.     if ( (FindNextFileA(find->handle,&find->hdata)))
  891.       return 1;
  892. #else
  893.     memset(&(find->filestat), 0, sizeof(find->filestat));
  894.     if ((find->dirp=readdir(find->hdir)))
  895.       if (find->dirp->d_name)
  896.         if (!stat(concat(find->path,find->dirp->d_name),&find->filestat))
  897.           return 1;
  898. #endif
  899.   }
  900.   return 0;
  901. }
  902.  
  903. HTSEXT_API int hts_findclose(find_handle find) {
  904.   if (find) {
  905. #if HTS_WIN
  906.     if (find->handle) {
  907.       FindClose(find->handle);
  908.       find->handle=NULL;
  909.     }
  910. #else
  911.     if (find->hdir) {
  912.       closedir (find->hdir);
  913.       find->hdir=NULL;
  914.     }
  915. #endif
  916.     free((void*)find);
  917.   }
  918.   return 0;
  919. }
  920.  
  921. HTSEXT_API char* hts_findgetname(find_handle find) {
  922.   if (find) {
  923. #if HTS_WIN
  924.     return find->hdata.cFileName;
  925. #else
  926.     if (find->dirp)
  927.       return find->dirp->d_name;
  928. #endif
  929.   }
  930.   return NULL;
  931. }
  932.  
  933. HTSEXT_API int hts_findgetsize(find_handle find) {
  934.   if (find) {
  935. #if HTS_WIN
  936.     return find->hdata.nFileSizeLow;
  937. #else
  938.     return find->filestat.st_size;
  939. #endif
  940.   }
  941.   return -1;
  942. }
  943.  
  944. HTSEXT_API int hts_findisdir(find_handle find) {
  945.   if (find) {
  946.     if (!hts_findissystem(find)) {
  947. #if HTS_WIN
  948.       if (find->hdata.dwFileAttributes  & FILE_ATTRIBUTE_DIRECTORY)
  949.         return 1;
  950. #else
  951.       if (S_ISDIR(find->filestat.st_mode))
  952.         return 1;
  953. #endif
  954.     }
  955.   }
  956.   return 0;
  957. }
  958. HTSEXT_API int hts_findisfile(find_handle find) {
  959.   if (find) {
  960.     if (!hts_findissystem(find)) {
  961. #if HTS_WIN
  962.       if (!(find->hdata.dwFileAttributes  & FILE_ATTRIBUTE_DIRECTORY))
  963.         return 1;
  964. #else
  965.       if (S_ISREG(find->filestat.st_mode))
  966.         return 1;
  967. #endif
  968.     }
  969.   }
  970.   return 0;
  971. }
  972. HTSEXT_API int hts_findissystem(find_handle find) {
  973.   if (find) {
  974. #if HTS_WIN
  975.     if (find->hdata.dwFileAttributes  & (FILE_ATTRIBUTE_SYSTEM|FILE_ATTRIBUTE_HIDDEN|FILE_ATTRIBUTE_TEMPORARY))
  976.       return 1;
  977.     else if ( (!strcmp(find->hdata.cFileName,"..")) || (!strcmp(find->hdata.cFileName,".")) )
  978.       return 1;
  979. #else
  980.     if (
  981.       (S_ISCHR(find->filestat.st_mode))
  982.       || 
  983.       (S_ISBLK(find->filestat.st_mode))
  984.       || 
  985.       (S_ISFIFO(find->filestat.st_mode))
  986.       || 
  987.       (S_ISSOCK(find->filestat.st_mode))
  988.       )
  989.       return 1;
  990.     else if ( (!strcmp(find->dirp->d_name,"..")) || (!strcmp(find->dirp->d_name,".")) )
  991.       return 1;
  992. #endif
  993.   }
  994.   return 0;
  995. }
  996.